扩散模型也能推理时Scaling
对于 LLM,推理时 scaling 是有效的!这一点已经被近期的许多推理大模型证明:o1、o3、DeepSeek R1、QwQ、Step Reasoner mini……但这个说法也适用于扩散模型吗?近日,纽约大学谢赛宁领导的一个团队对这一方向进行了探索。具体
对于 LLM,推理时 scaling 是有效的!这一点已经被近期的许多推理大模型证明:o1、o3、DeepSeek R1、QwQ、Step Reasoner mini……但这个说法也适用于扩散模型吗?近日,纽约大学谢赛宁领导的一个团队对这一方向进行了探索。具体
1月6日,黄仁勋以一场震撼人心的发布会拉开了CES2025的序幕。他身着标志性的皮夹克,发布了多个让全场兴奋的产品,包括搭载了Blackwell架构的RTX 50系列显卡,拥有2万多个CUDA核心的RTX 5090芯片等等。
黄仁勋 scaling scalinglaw 2025-01-10 07:42 22
从20世纪50年代起,AI技术经历了70多年的发展。其间多种技术曾占据不同时代的高位,而当时间来到21世纪20年代,抵达我们今天正在经历的新一轮AI崛起,预训练大模型毫无疑问就是这个时代的主角。
scaling scalinglaw law发现者 2025-01-01 08:41 21
知名媒体《南华早报》在其报道《百度在OpenAI之前就发现了Scaling Law?AI领域的辩论重新燃起》中指出,尽管美国在AI模型创新方面一直被视为领先者,但最新的讨论显示,中国在探索这些概念上可能更为超前。
百度 scaling scalinglaw 2024-12-30 16:35 19
Ilya 表示,深度学习之所以成功,要归功于「规模假设」,即利用非常大的数据集来训练一个足够大的神经网络,只需要大力出奇迹,成功就“几乎可以预见”,这一暴力法则也被称为“Scaling law”。
agi scaling scalinglaw 2024-12-26 17:56 21
12 月 2-6 日,亚马逊云科技在美国拉斯维加斯举办了今年度的 re:Invent 大会。会上,亚马逊云科技发布了相当多东西,其中之一便是新的大模型系列 Nova。说实话,这确实出乎了相当多人的意料 —— 毕竟亚马逊已经重金押注 Anthropic,似乎没有
亚马逊 scaling scalinglaw 2024-12-18 14:57 21
在最新研讨会上,OpenAI大神,o1核心成员Noam Brown表示,o1代表的是一种全新的,以推理计算为代表的Scaling。
scaling scalinglaw ilya 2024-12-16 10:46 14
在近期的一次科技讨论热潮中,关于人工智能领域中的Scaling Law再次成为焦点。这一讨论紧随Ilya关于“预训练时代或将落幕”的言论之后,引起了业界的广泛关注。
openai scaling scalinglaw 2024-12-15 21:07 16
11月27日早晨,Meta研究员Jack Morris在社交媒体发文称:“大多数人不知道,关于Scaling Law的原始研究来自2017年的百度,而不是2020年的OpenAI。”
anthropic scaling scalinglaw 2024-11-28 14:40 19
大多数人可能不知道,Scaling law原始研究来自2017年的百度,而非三年后(2020年)的OpenAI。
claude scaling scalinglaw 2024-11-28 08:52 19
Scaling Law 或将终结——这是最近备受热议的话题之一。该讨论最初源自于哈佛大学一篇名为《Scaling Laws for Precision》的论文,其研究表明当下的语言模型在大量数据上经历了过度训练,继续叠加更多的预训练数据可能会产生副作用。
模型 scaling scalinglaw 2024-11-22 11:25 20
迈向超级智能系统的AI实验室正意识到,可能需要改换道路。分析指出,相比传统的堆砌计算能力和数据的训练方法,被称为“测试时计算”(Test-time Compute)的新方法更有助于提高AI模型的预测能力。